ホロラボ・西松建設　XRを活用してドローン作業を支援

様々な三次元空間データを生かした調査研究、システム・アプリケーション開発を行うホロラボは、西松建設との共同研究で、ドローンによる空撮映像に3Dモデルをリアルタイムで重畳（ちょうじょう）し、ヘッドマウントディスプレイと連携して施工の可視化、ドローンの操縦支援を行なう技術を開発した。

施工段階では3Dモデル（CIMモデル）を活用して生産性向上、現場管理業務の効率化が活発化している。活用方法のひとつとして、現実世界にCGによる視覚情報を重ねるAR（Augmented Reality:拡張現実）技術があり、施工状況のイメージを共有して、早期の課題把握や改善策提案、施工の手戻りの抑制といった効果が期待できる。

しかし現行のAR技術はスマートフォンやタブレット端末、ヘッドマウントディスプレイなどを使用するため、地上からの主観視点に限られている。計画全体を見渡すには、高所に足場を用意して登らなければならなかった。また複数個所に渡って確認するためには、現場内を移動して地点ごとにARの位置合わせをする必要があった。

これらの問題を解決するべく、位置や距離の影響を受けず高速移動が可能なドローンを活用した、自由視点での3Dモデル重畳技術の開発を行なった。なお、共同特許を出願中だ。

マーカーを必要としない位置情報取得

ARの重畳のためにはQRコードなどのマーカーを使用した手法が一般的だが、今回の研究ではDJI Mavic 3 Enterprise にRTKモジュールを搭載し、全地球航法衛星システム（GNSS：Global Navigation Satellite System）による位置情報と、ドローン自身がもつ姿勢、カメラの情報を紐付けて、マーカーを使用せずにリアルタイムでAR重畳を行なっている。また3Dモデルの配置には設計の緯度経度情報を利用し、登録された指定座標にWebブラウザから直接配置することが可能だ。

XRデバイスを活用したドローン作業支援

ドローンの操縦を行いながらこれらの制御をすることは操作の複雑化につながる。この課題を解決するため、操縦者が装着した透過型XRヘッドマウントディスプレイ（Trimble XR10 with HoloLens 2）を通じて、操縦している手を放すことなく様々な情報を把握、操作を補助するシステムを開発した。

XR10に投影される空間ヘッドアップディスプレイ（HUD）には、AR重畳された空撮映像の他に、ハンドトラッキングで操作できる3Dモデルの制御UI、撮影機能、飛行中のドローンの各種ステータスが確認できる。また、位置情報に基づいてドローンの飛行位置をARで投影された地図上に表示。カメラの向きを切り替えて確認する必要もなく、目視では把握しづらい遠方のドローンの位置を俯瞰的に把握できる。

PCをコアにした性能向上と遠隔共有システム

ARレンダリングの処理負荷がドローン制御やXRデバイスに影響するのを回避するために、これらの演算を現場ネットワーク内の高性能PCで処理。PCから現場のネットワーク上で映像を共有することで、各デバイスの負担を軽減しながら、高解像度なリアルタイムレンダリングと通信速度を実現した。遠隔会議システムと連携して、インターネットを通じて遠隔地とも空撮映像の共有を可能にした。 

現場検証の実施

西松建設が施工中のダム建設現場（宮城県名取市）で本件開発のフィールド検証を実施。

ドローンによる空撮映像にダム堤体や岩級区分の3Dモデルを重畳し、自由な視点で現場全体を確認でき、現況と施工計画を比較できることを確認した。またドローンの機動力を活かして広大なフィールドを短時間で移動、確認できるため、従来のAR技術と比較して、現地での移動時間を大幅に短縮につながった。

操縦者が装着しているXR10による空間ヘッドアップディスプレイ（HUD）には重畳映像とドローンの内部情報や、飛行している機体の位置を地図上で表示するため、操縦者はドローンを操縦しながら機体の状態、飛行位置、3Dモデルの重畳など複数の情報を同時に確認できる。

ホロラボは「今回の開発検証では自由視点での3Dモデルを重畳した広域現場での状況把握や、時間の削減を確認できた一方、ドローンの移動中の伝送速度とレンダリング速度の差による重畳精度のずれなども判明した。今後は一層の精度向上とシステムの最適化、更なる操作性・利便性の向上に向けて機能を拡張し、汎用利用可能なサービスとして展開するべく開発を進める」としている。